Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる
どうも！大阪オフィスの西村祐二です。
DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。
そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。
ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。
今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。
DynamoDBのテーブル作成
今回はCloudFormationを使ってDynamoDBのテーブルを作成します。
テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time」とし、 属性のデータ型を文字列データの「S」として設定しています。
$ vi dynamodb.yml
---
AWSTemplateFormatVersion: "2010-09-09"
Resources:
myDynamoDBTable:
Type: "AWS::DynamoDB::Table"
Properties:
TableName: "dynamo-test"
AttributeDefinitions:
- AttributeName: Date
AttributeType: S
- AttributeName: Time
AttributeType: S
KeySchema:
- AttributeName: Date
KeyType: HASH
- AttributeName: Time
KeyType: RANGE
ProvisionedThroughput:
ReadCapacityUnits: 1
WriteCapacityUnits: 1
下記コマンドにてテーブルを作成します。
$ aws cloudformation validate-template --template-body file://dynamodb.yml $ aws cloudformation create-stack dynamodb-test --template-body file://dynamodb.yml
成功したら下記画像のように作成されているはずです。
Lambda関数の作成
AWS Management Consoleにログインして、AWS Lambda Dashboardを開きます。
Lambda関数一覧の画面で、［関数の作成］ボタンをクリックします。
[一から作成]ボタンをクリックします。
名前を[dynamodb-check]とし、
ロールにはDynamoDBのテーブルをスキャンするので
"dynamodb:Scan"を付与しておいてください。
[関数の作成]ボタンをクリックします。
移動した画面で、ランタイムのドロップダウンリストからPython 3.6を選択します。 下記、プログラムをコピペし、保存ボタンをクリックします。
import boto3
import logging
from datetime import datetime
# dynamodb
DYNAMO_TABLE_NAME = 'dynamodb-test'
dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table(DYNAMO_TABLE_NAME)
def format_check(data):
try:
for i in range(len(data)):
dynamo_datetime = str(data[i]['Date'])+ " " + str(data[i]['Time'])
## 日時フォーマットに変換 (ex:2017-10-19 01:01)
get_datetime = datetime.strptime(dynamo_datetime, '%Y-%m-%d %H:%M')
print(get_datetime)
print('ok')
except Exception as e:
logger.exception("{}".format(e))
return "ERROR End"
def handler(event, context):
try:
response = table.scan()
data = response['Items']
format_check(data)
except Exception as e:
logger.exception("{}".format(e))
return "ERROR End"
簡単に解説します。 ポイントは15行目です。
get_datetime = datetime.strptime(dynamo_datetime, '%Y-%m-%d %H:%M')
pythonのdatetime.strptimeはかなり便利で、
日付や時刻に対応する書式文字列から datetime オブジェクトに変換してくれます。
また、strptimeの第二引数は第一引数のフォーマットを渡すため、 これにマッチしないとエラーとなります。 ここでエラーになるということは、つまり、想定しないフォーマットで入力されていることになります。
今回の場合は Date：2017-10-19 のような日付 Time：01:01 のような時刻が 入力されている想定です。
また、入力してほしいフォーマットが
Date：2017/10/19
のような日付の場合は
第二引数を%Y/%m/%dのように対応する形に変更すれば、OKです。
get_datetime = datetime.strptime(dynamo_datetime, '%Y/%m/%d %H:%M')
動作確認
DynamoDBにいろいろなデータをいれて、 動作を確認してみたいと思います。
正しいフォーマットでいれてみる
[項目の作成]をクリックして、 Date：2017-10-20 Time：20:20 を登録してみました。
作成したLambda関数を実行させてみると 下記ログが出力され問題なく、変換できていることがわかります。
時刻を一桁のままでいれてみる
[項目の作成]をクリックして、 Date：2017-10-20 Time：1:1 を登録してみました。
作成したLambda関数を実行させてみると 下記ログが出力され問題なく、変換できていることがわかります。
全角を入れてみる
[項目の作成]をクリックして、 Date：２０１７−１０−２０ Time：20:20 を登録してみました。
作成したLambda関数を実行させてみると 下記ログが出力され想定どおり、エラー出力ができていることがわかります。
ありえない日程をいれてみる
[項目の作成]をクリックして、 Date：2017-15-10 Time：20:20 を登録してみました。
作成したLambda関数を実行させてみると 下記ログが出力され想定どおり、エラー出力ができていることがわかります。
ありえない時刻をいれてみる
[項目の作成]をクリックして、 Date：2017-10-20 Time：25:20 を登録してみました。
作成したLambda関数を実行させてみると 下記ログが出力され想定どおり、エラー出力ができていることがわかります。
追加で、 Date：2017-10-20 Time：20:80 を登録してみました。
作成したLambda関数を実行させてみると
下記ログが出力され
今回はなぜかunconverted dataというようなエラーが出力されました。
さいごに
いかがだったでしょうか。 Lambdaをつかって DynamoDBに登録された項目が日付型であるかチェックしてみました。 あとは、Lambdaで定期的に確認しエラーが出力されれば ユーザにメールを送信すればとりあえずは良いかと思います。 もっといいやり方があれば教えてください。
誰かのためになれば幸いです。
